![[アップデート] AWS IoT FleetWise でビジョンシステムデータの収集が可能になりました #AWSreInvent](https://devio2023-media.developers.io/wp-content/uploads/2023/11/eyecatch_reinvent-2023-newservice-update.png)
[アップデート] AWS IoT FleetWise でビジョンシステムデータの収集が可能になりました #AWSreInvent
コンバンハ、千葉（幸）です。
AWS IoT Fleet Wise において、ビジョンシステムのデータ収集がサポートされました。
この機能は現時点でプレビュー段階です。なお、AWS IoT Fleet Wise はバージニア北部リージョン・フランクフルトリージョンでのみ使用可能です。
AWS IoT FleetWise とは
アップデートの確認に入る前に、そもそも AWS IoT FleetWise とは何かをおさらいしておきましょう。
AWS IoT FleetWise は、車両データを収集し、クラウドで整理するためのマネージドサービスです。2021年11月にプレビューリリースされ、2022年9月に一般公開されました。
AWS IoT FleetWise は以下のような車両データの管理における課題を解消するために生まれました。
- データアクセス
- 固有のデータフォーマットへの対応の負荷
- データボリューム
- 大量のデータ送信のコスト高
- データの適時性
- 自動車メーカにデータが届くまでに時間を要する
（サービスアップデート IoT 編: AWS IoT FleetWise Deep Dive - YouTube より画像引用。以下同様）
AWS IoT FleetWise によって以下がもたらされます。
- データ形式の標準化
- 転送データのフィルタリングによるコスト削減
- ほぼリアルタイムでのデータ転送
大まかな使い方としては、以下となります。
- マネジメントコンソール上で仮想車両モデルを作成する
- 実際の車両のハードウェアに Edge Agent をインストールする
- 「データ収集キャンペーン」と呼ばれるどのような条件でデータ収集するかの定義を行う
- 例えば「急ブレーキが行われたとき」など
- Edge Agent によりデータが収集され、AWS IoT FleetWise を通じで各種データストアにデータ転送される
AWS IoT FleetWise でビジョンシステムデータが収集可能に
今回のアップデートにより、ビジョンシステムデータの収集に対応しました。収集できるデータの対象が拡がったということですね。
ビジョンシステムとは
ビジョンシステムとは、機械が視覚能力を持つことを実現するテクノロジーです。カメラやセンサーを使用した物体の認識、位置の把握、動きの追跡や特徴抽出などを行います。製品の性質検査や、ロボット、ドローンと組み合わせた用途などさまざまな場面で活用が進んでいます。
車両に関連するビジョンシステムのユースケースとしては、先進運転支援システム (ADAS) におけるカメラ/レーダーのサラウンドビューアレイや、半自動運転におけるドライバーと車室内の監視システムといったものがあります。最新の車両には複数のビジョンシステムが搭載されていることが多いです。
車両からのビジョンシステムデータ収集の課題
ビジョンシステムは車両上である程度の計算を実行した上でデータ送信を行うことがほとんどです。この時、ビジョンシステムは構造化データ（数値やテキストなど）と非構造化データ（画像やビデオなど）形式で大量のデータを生成します。
大量データの生成は、他の車両センサーからのデータとの同期を難しくします。例えばデータサイエンティストが、車載カメラによって検出された道路状況の精度を分析したいとします。この時、以下のようなバラバラのデータを関連づけて確認する必要があります。
- テレメトリデータ（速度やブレーキ圧など）
- 構造化オブジェクトのリストとメタデータ
- 非構造化データ（画像、ビデオ）
これらのデータを、車両の操作への影響を抑えながら関連イベントとして同期し続けるには追加のソフトウェアと計算能力が必要となります。
AWS IoT FleetWise によるビジョンシステムデータの収集と整理
AWS IoT FleetWise によりビジョンシステムデータの収集やクラウドでの同期を簡単に行えるようになりました。以下のデータを収集し、クラウド上で同期を行います。
- 構造化データ
- 非構造化データ
- メタデータ（AWS IoT FleetWise における、イベントID/キャンペーン/車両）
- テレメトリデータ
AWS IoT FleetWise によるビジョンシステムデータの収集においては、テレメトリーデータの収集には既存の機能やインターフェースを利用できます。
ビジョンシステムとその属性、および標準センサーを AWS 上でモデルとして定義することで、AWS IoT FleetWise は Edge Agnet を経由してデータ収集、同期を行います。複数のセンサーから収集されたデータが一連のイベントとして関連づけられクラウド上で整理されることになります。
ユースケースのイメージを見てみる
以下ブログに、AWS IoT FleetWise でビジョンシステムデータを収集するユースケースにおけるプロセス例が載せられています。
（画像は上記リンクより引用）
ここでは、衝突回避システムの改善を目的として、衝突が検出されたシナリオを全て確認したいと考えています。事象中に何が起こったかを理解するために、検出される前後の画像と遠隔測定データで構成される視覚データを調べたいとします。
順番に流れを確認していきます。
- 車両エンジニアが AWS IoT FleetWise 上で車両モデルやナレッジグラフの定義を行う
- データエンジニアが AWS IoT FleetWise 上でデータ収集キャンペーンを定義する
- イベントベースもしくは時間ベースでビジョンシステムデータと標準テレメトリデータが収集される
- データの収集は Edge Agent によって行われる
- 構造化データと非構造化データが FleetWise クラウドに収集される
- 構造化データは処理された上で非構造化データとリンクされ、メタデータ（タイムスタンプや車両IDなど）が付与された上で Parquet/JSON データで S3 に保管される
- 非構造化データはデータフォーマットに依存せず S3 に保管される
- データエンジニアは S3 に保存されたデータに Glue や Athena、Sagemakerなどを利用して分析/解析を行う
この画像における一番左にあるカメラデータ、レーダーデータなどを収集する既存のシステムインターフェースはそのままに、AWS IoT Fleet Manager上で定義を行うことでビジョンシステムデータと関連づけて S3 に収集できる、というのが今回の肝になるかと思います。
このプロセスのデモを行う方法も上述のブログには記載されています。
事前に以下のデモを進めていく必要があるので、実施される際には腰を据えてどうぞ。
終わりに
AWS IoT FleetWise でビジョンシステムデータの収集が可能になった、というアップデートでした。
既存のインターフェースはそのままに、AWS FleetWise 上でモデルを定義することで収集するデータに情報付加、整理をしてくれるというのが面白いコンセプトだと感じました。
以上、 チバユキ (@batchicchi) がお送りしました。
![[レポート] Build a vehicle insights assistant with AWS IoT and Amazon Q #AUT304-R1](https://images.ctfassets.net/ct0aopd36mqt/3IQLlbdUkRvu7Q2LupRW2o/edff8982184ea7cc2d5efa2ddd2915f5/reinvent-2024-sessionreport-jp.jpg)
